Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods
矩阵 AdaGrad：行向与列向自适应次梯度方法
🧭 自适应优化器 · 矩阵结构
Independent Researcher · Shanghai Jiao Tong University
提出行/列矩自适应 AdaGrad，用矩阵结构替代逐元素缩放，获得更紧后悔界
📌 工作参考价值（4 点）
- 在推荐模型中 embedding 矩阵、attention 权重矩阵等大矩阵参数上，可尝试用 Row-AdaGrad 或 Column-AdaGrad 替代逐元素 Adam，按行/列累积梯度范数做缩放，减少二阶矩状态存储，同时可能提升训练稳定性。
- 对稀疏且结构分明的 embedding 表（如用户 ID × 隐向量维度），行维对应 ID，列维对应特征维度，可灵活选择行/列分组，避免逐元素噪声导致的错误缩放，适合稀疏梯度场景。
- 如果业务中需要加大学习率以加速收敛，但发现训练不稳定，可借鉴其矩阵感知缩放思路，实验按行/列分组自适应学习率，观察是否能扩大可稳定训练的学习率范围。
- 理论结果表明，在结构化梯度下矩阵感知 Adagrad 的 regret 界可严格紧于逐元素版本，这意味着在推荐/CTR 模型中若能识别矩阵结构梯度分布，用相应优化器可能获得更优收敛行为，值得在新模型原型阶段快速对比实验。